Người Hoa từ Phúc Kiến và Chiết Giang bắt đầu di cư đến quần đảo vào thời nhà Nguyên. Hầu hết cư dân Mã Tổ có gốc từ Hầu Quan (侯官) (nay là Trường Lạc, Phúc Kiến). Nghề đánh cá bằng lưới tạo cơ sở để phát triển khu dân cư Phúc Áo và phát triển kinh tế của khu vực trong vài trăm năm sau. Một số thủy thủ của Trịnh Hòa thời Minh từng có thời gian ở tạm trên quần đảo.

Đến đầu thời nhà Thanh, hải tặc tụ tập tại đây, cư dân tạm thời rời đi. Không giống như đảo Đài Loan và quần đảo Bành Hồ, quần đảo Mã Tổ không bị nhượng cho Đế quốc Nhật Bản theo Hiệp ước Shimonoseki năm 1895. Do quần đảo có vị trí chiến lược dọc theo tuyến hàng hải độc đạo để vận chuyển gia vị, người Anh cho dựng hải đăng Đông Dũng trên đảo Đông Dẫn vào năm 1912 nhằm tạo thuận lợi cho tàu thuyền qua lại.[9]

Trung Hoa Dân Quốc được thành lập vào năm 1912, quần đảo Mã Tổ nằm dưới quyền quản lý của tỉnh Phúc Kiến. Đến ngày 10 tháng 9 năm 1937, Đế quốc Nhật Bản chiếm được đảo Bắc Can và Nam Can bằng cách sử dụng Ngụy quân Trung Quốc, và quần đảo là nơi đầu tiên tại Phúc Kiến rơi vào tay Nhật Bản.[10][11] Quần đảo không bị quân Nhật chiếm đóng trong Thế chiến II do không quan trọng về mặt quân sự.

Do Nội chiến Trung Quốc, đến năm 1949 Đảng Cộng sản Trung Quốc kiểm soát Trung Quốc đại lục và lập ra nước Cộng hòa Nhân dân Trung Hoa. Chính quyền Quốc dân Đảng rút đến Đài Loan vào cuối năm đó nhưng vẫn kiểm soát được một số đảo ngoài khơi của huyện Liên Giang (tức quần đảo Mã Tổ), cùng với hầu hết huyện Kim Môn. Toàn bộ quần đảo Mã Tổ bước vào thời kỳ quân quản. Ngày 15 tháng 12 năm 1950, văn phòng hành chính Mã Tổ (馬祖行政公署) của tỉnh Phúc Kiến được thành lập, phạm vi quản lý gồm huyện Liên Giang (Mã Tổ) hiện nay, cũng như các đảo nay thuộc hương của huyện Hà Phố và đảo Đài Sơn (台山) thuộc Sa Trình, thành phố Phúc Đỉnh của Trung Quốc đại lục[12][13] which were attacked in 1950 and 1951.[14]

Đến đầu tháng 7 năm 1953, quân Quốc dân Đảng rút khỏi các đảo thuộc cụm Tây Dương (Tri Chu) của hương Hải Đảo hiện nay, khu vực sau đó do Đại lục kiểm soát.[15] Đến tháng 6 năm 1955, Đại lục cho xây dựng cơ sở đường bộ và quân sự quy mô quanh đảo Bình Đàm thuộc Phúc Châu, có các tuyến đường dẫn đến vị trí pháo binh tiềm năng. Các vị trí này có thể được sử dụng nhằm bảo vệ eo biển Hải Đàm, được cho là một khu vực thuận lợi cho hoạt động đổ bộ nhằm vào quần đảo Mã Tổ.[16] Đến tháng 7 năm 1958, Trung Quốc đại lục triển khai quân đông đảo ở đối diện Kim Môn và Mã Tổ và bắt đầu bắn phá các đảo vào ngày 23 tháng 8, gây nên Khủng hoảng Eo biển Đài Loan lần 2. Ngày 4 tháng 9 năm 1958, Trung Quốc đại lục tuyên bố mở rộng lãnh hải lên 20 km (12 hải lý) nhằm bao trùm cả hai quần đảo. Tuy nhiên, đến cuối tháng đó các bên thỏa thuận đình chiến và hiện trạng được tái khẳng định.[17]

Thuật ngữ "Kim Môn và Mã Tổ" (Quemoy and Matsu) trở thành một phần của ngôn ngữ chính trị Hoa Kỳ trong bầu cử tổng thống năm 1960. Trong các cuộc tranh luận, hai ứng cử viên là Phó Tổng thống Richard Nixon và Thượng nghị sĩ John F. Kennedy cam kết sử dụng quân sự để bảo vệ Đài Loan trước Trung Quốc đại lục, khi đó Hoa Kỳ chưa công nhận tính hợp pháp của Cộng hòa Nhân dân Trung Hoa. Tuy nhiên, trong cuộc tranh luận thứ hai vào ngày 7 tháng 10 năm 1960, hai ứng cử viên thể hiện quan điểm khác nhau về việc Hoa Kỳ có nên sử dụng quân sự để bảo vệ các tiền đồn Kim Môn và Mã Tổ của chính quyền tại Đài Loan hay không.[18] Kennedy cho rằng các đảo này khó phòng thủ và không thiết yếu cho việc phòng thủ đảo Đài Loan. Nixon duy trì quan điểm rằng do Kim Môn và Mã Tổ thuộc "khu vực tự do", trên nguyên tắc chúng không nên đầu hàng trước cộng sản.[19]

Sau cuộc tranh luận thứ ba vào ngày 13 tháng 10 năm 1960, các cố vấn của Kennedy nói với Bộ trướng Ngoại giao Herter rằng Kennedy sẵn lòng thay đổi lập trường về Kim Môn và Mã Tổ để không cho cộng sản ấn tượng rằng Hoa Kỳ sẽ không đoàn kết chống lại hành vi gây hấn.[20] Các cuộc thăm dò cho thấy các đảng viên Cộng hòa và Dân chủ đều ủng hộ áp đảo lập trường của Nixon.[21]

Đến năm 1992, quần đảo được bãi bỏ chế độ giới nghiêm lâm thời, sau khi ngưng chiến tranh chính trị với đại lục và bãi bỏ 'chính vụ chiến địa' vào ngày 7 tháng 11 năm 1992.[22] Sau đó, tốc độ xây dựng địa phương được đẩy nhanh. Đến năm 1999, quần đảo được xác định là Khu phong cảnh quốc gia Mã Tổ.[9][23] Đến tháng 1 năm 2001, bắt đầu có các tàu vận chuyển hàng hóa và hành khách trực tiếp giữa Mã Tổ và tỉnh Phúc Kiến của Đại lục, gọi là 'tiểu tam thông'.[24] Kể từ ngày 1 tháng 1 năm 2015, du khách từ Trung Quốc đại lục có thể xin trực tiếp giấy thông hành xuất nhập cảnh kho đến quần đảo Mã Tổ, cũng như tại Bành Hồ và Kim Môn, nhằm đẩy mạnh du lịch.[25] Đến tháng 12 năm 2015, tuyến tàu Hoàng Kỳ-Mã Tổ được đưa vào tiểu tam thông.[26][27]

Năm 2020, các tàu khai thác cát trái phép của Đại lục hoạt động tràn lan quanh quần đảo Mã Tổ[28] gây quan ngại tại quần đảo và tại Hành chính viện về vấn đề tổn hại môi trường biển, khả năng tổn hại về cáp viễn thông ngầm, và khả năng xói lở bờ biển.[29]